Trong nhật ký của mình, Andersen ghi lại là trong thời kỳ mới lớn, ông đã không có quan hệ tình dục với một phụ nữ nào[5][6]. Andersen thường rơi vào tình yêu đơn phương với một số phụ nữ mà không được đền đáp[7] Tại một thời điểm, ông đã viết trong nhật ký của mình: "Lạy Thiên Chúa Toàn Năng, con chỉ có Chúa mà thôi; Chúa quyết định số phận của con, con phó thác thân con cho Chúa. Xin Chúa hãy ban cho con một sinh kế ! Hãy cho con một cô dâu ! Máu và trái tim con đều ước ao tình yêu[8].Một cô gái tên Riborg Voigt là đối tượng yêu đơn phương của Andersen thời trai trẻ. Khi Andersen qua đời, người ta đã tìm thấy một túi nhỏ chứa một lá thư dài của Riborg trên ngực của Andersen. Ngoài Riborg Voigt, Andersen cũng đã đơn phương yêu Sophie Ørsted, con gái của nhà vật lý Hans Christian Ørsted, và Louise Collin, con gái út của Jonas Collin, ân nhân của ông.Truyện Chim họa mi là một biểu hiện bằng văn viết về niềm đam mê của Andersen đối với nữ ca sĩ opera Jenny Lind của Thụy Điển, và đã trở thành nguồn cảm hứng cho biệt danh "Chim họa mi Thụy Điển" của cô. Andersen thường nhút nhát khi tiếp xúc với các phụ nữ nên đã khó ngỏ lời với Jenny Lind. Khi Jenny Lind lên một tàu hỏa để tới dự một buổi hòa nhạc opera, Andersen đã trao cho cô một lá thư tỏ tình; tuy nhiên cô không đáp lại tình yêu của Andersen, mà chỉ coi ông như một người anh kết nghĩa, và năm 1844 cô đã viết cho ông: "... Xin Chúa chúc lành và bảo vệ anh trai của em là mong muốn chân thành của người em gái thân yêu của anh. Jenny. "[9]

Andersen cũng có tình yêu người đồng giới. Ông đã từng viết cho Edvard Collin: "Tôi héo hon vì anh y như một thiếu phụ người xứ Calabria... tình cảm của tôi dành cho anh là tình cảm của một phụ nữ. Nữ tính trong bản chất của tôi và tình bạn của chúng ta phải vẫn là một bí ẩn"[10]. Collin, người thích yêu phụ nữ, đã viết trong hồi ký của mình: "Tôi thấy mình không thể đáp lại tình yêu đó, và điều này đã mang lại cho anh ta nhiều đau khổ."

Tương tự như vậy, niềm say mê của Andersen đối với nam vũ công Harald Scharff của Đan Mạch[11] và Carl Alexander, công tước trẻ nối ngôi của vùng Saxe-Weimar-Eisenach[12], đã không mang lại mối quan hệ nào.

Một số nhà nghiên cứu thì cho rằng không có bằng chứng nào về các quan hệ tình dục như vậy của Andersen, và điều đó cũng hoàn toàn trái với ý tưởng đạo đức và tôn giáo của ông[13].

Do những quan hệ tình cảm của Andersen với vài người nam - như Edvard Collin và Harald Scharff - một vài nhà nghiên cứu về tiểu sử Andersen cho rằng ông là một người đồng tính luyến ái.